Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.
translated by 谷歌翻译
In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of $1.9$ on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.
translated by 谷歌翻译
现有的研究解决场景图生成（SGG） - 图像中场景理解的关键技术 - 从检测角度，即使用边界框检测到对象，然后预测其成对关系。我们认为这种范式引起了几个阻碍该领域进步的问题。例如，当前数据集中的基于框的标签通常包含冗余类，例如头发，并遗漏对上下文理解至关重要的背景信息。在这项工作中，我们介绍了Panoptic场景图生成（PSG），这是一项新的问题任务，要求该模型基于全景分割而不是刚性边界框生成更全面的场景图表示。一个高质量的PSG数据集包含可可和视觉基因组的49k井被宣传的重叠图像，是为社区创建的，以跟踪其进度。为了进行基准测试，我们构建了四个两阶段基线，这些基线是根据SGG中的经典方法修改的，以及两个单阶段基准，称为PSGTR和PSGFORMER，它们基于基于高效的变压器检测器，即detr。虽然PSGTR使用一组查询来直接学习三重态，但PSGFormer以来自两个变压器解码器的查询形式分别模拟对象和关系，然后是一种迅速的关系 - 对象对象匹配机制。最后，我们分享了关于公开挑战和未来方向的见解。
translated by 谷歌翻译
逼真的触觉需要高保真的身体建模和忠实的驾驶才能使动态合成的外观与现实无法区分。在这项工作中，我们提出了一个端到端框架，该框架解决了建模和推动真实人的全身化身方面的两个核心挑战。一个挑战是驾驶头像，同时忠实地遵守细节和动态，而这些细节和动态无法被全球低维参数化（例如身体姿势）所捕捉。我们的方法支持驾驶穿着皱纹和运动的衣服化身，而真正的驾驶表演者展出了训练语料库。与现有的全局状态表示或非参数屏幕空间方法不同，我们介绍了Texel对准功能 - 一种本地化表示，可以利用基于骨架的参数模型的结构先验和同时观察到的稀疏图像信号。另一个挑战是建模临时连贯的衣服头像，通常需要精确的表面跟踪。为了避免这种情况，我们通过将体积原语的混合物扩展到清晰的物体，提出了一种新型的体积化头像表示。通过明确合并表达，我们的方法自然而然地概括了看不见的姿势。我们还介绍了局部视点条件，从而导致了依赖视图的外观的概括。拟议的体积表示不需要高质量的网格跟踪作为先决条件，并且与基于网格的对应物相比，具有显着的质量改进。在我们的实验中，我们仔细研究了我们的设计选择，并证明了方法的功效，超过了最新方法在挑战驾驶方案方面的最新方法。
translated by 谷歌翻译
3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
基于深卷积神经网络（CNN）的面部识别表现出归因于提取的高判别特征的卓越精度性能。然而，经常忽略了深度学习模型（深度特征）提取的功能的安全性和隐私。本文提出了从深度功能中重建面部图像，而无需访问CNN网络配置作为约束优化问题。这种优化可最大程度地减少从原始面部图像中提取的特征与重建的面部图像之间的距离。我们没有直接解决图像空间中的优化问题，而是通过寻找GAN发电机的潜在向量来重新重新制定问题，然后使用它来生成面部图像。 GAN发电机在这个新颖的框架中起着双重作用，即优化目标和面部发电机的面部分布约束。除了新颖的优化任务之外，我们还提出了一条攻击管道，以基于生成的面部图像模拟目标用户。我们的结果表明，生成的面部图像可以达到最先进的攻击率在LFW上的最先进的攻击率在I型攻击下为0.1 \％。我们的工作阐明了生物识别部署，以符合隐私和安全政策。
translated by 谷歌翻译
为了提高实例级别检测/分割性能，现有的自我监督和半监督方法从未标记的数据提取非常任务 - 无关或非常任务特定的训练信号。我们认为这两种方法在任务特异性频谱的两端是任务性能的次优。利用太少的任务特定的培训信号导致底下地区任务的地面真理标签导致磨损，而相反的原因会在地面真理标签上过度装修。为此，我们提出了一种新的类别无关的半监督预测（CASP）框架，在提取来自未标记数据的训练信号中实现更有利的任务特异性平衡。与半监督学习相比，CASP通过忽略伪标签中的类信息并具有仅使用任务 - 不相关的未标记数据的单独预先预订阶段来减少训练信号的任务特异性。另一方面，CASP通过利用盒子/面具级伪标签来保留适量的任务特异性。因此，我们的预磨模模型可以更好地避免在下游任务上的FineTuned时避免在地面真理标签上抵抗/过度拟合。使用3.6M未标记的数据，我们在对象检测上实现了4.7％的显着性能增益。我们的预制模型还展示了对其他检测和分割任务/框架的优异可转移性。
translated by 谷歌翻译
基于图像登记的增强现实技术越来越受欢迎，方便手术前准备和医学教育。本文侧重于前臂图像和数字解剖模型的注册。由于前臂多模态图像的纹理特征的差异，本文提出了一种基于用于前臂的结构兼容的多模态图像登记框架（FFRC）的前臂特征表示曲线（FFRC）。
translated by 谷歌翻译
在过去的二十年中，在遥感（RS）图像中，开发对象检测方法的重大努力。在大多数情况下，遥感图像中的小对象检测的数据集不足。许多研究人员使用了场景分类数据集进行对象检测，这具有其限制;例如，大型对象在对象类别中寡出小对象。因此，他们缺乏多样性;这进一步影响了RS图像中的小对象探测器的检测性能。本文审查了当前数据集和对象检测方法（基于深度学习），用于遥感图像。我们还提出了一种大规模的公开可用的基准遥感超分辨率对象检测（RSSOD）数据集。 RSSOD数据集由1,759个手注释的图像组成，具有22,091个非常高分辨率（VHR）图像，空间分辨率为约0.05米。每个类有五个类别，每个类的标签频率不同。从卫星图像中提取图像贴片，包括真实图像扭曲，例如切向尺度失真和歪斜失真。我们还提出了一种新型多级循环超分辨率生成的对抗网络，具有残余特征聚合（MCGR）和辅助YOLOV5检测器，用于基于基于图像超分辨率的对象检测，并与现有的基于最先进的方法进行比较在图像超分辨率（SR）。与当前最先进的NLSN方法相比，所提出的MCGR为图像SR实现了最新的图像SR性能。 MCGR分别实现了0.758,0.881,0.841和0.983的最佳物体检测映射，分别超过最先进的对象探测器的性能YOLOV5，高效文件，更快的RCNN，SSD和RETINANET。
translated by 谷歌翻译
由于其在各种领域的广泛应用，3D对象检测正在接受行业和学术界的增加。在本文中，我们提出了从点云的3D对象检测的基于角度基于卷曲区域的卷积神经网络（PV-RCNNS）。首先，我们提出了一种新颖的3D探测器，PV-RCNN，由两个步骤组成：Voxel-to-keyPoint场景编码和Keypoint-to-Grid ROI特征抽象。这两个步骤深入地将3D体素CNN与基于点的集合的集合进行了集成，以提取辨别特征。其次，我们提出了一个先进的框架，PV-RCNN ++，用于更高效和准确的3D对象检测。它由两个主要的改进组成：有效地生产更多代表性关键点的划分的提案中心策略，以及用于更好地聚合局部点特征的vectorpool聚合，具有更少的资源消耗。通过这两种策略，我们的PV-RCNN ++比PV-RCNN快2倍，同时还在具有150米* 150M检测范围内的大型Waymo Open DataSet上实现更好的性能。此外，我们提出的PV-RCNNS在Waymo Open DataSet和高竞争力的基蒂基准上实现最先进的3D检测性能。源代码可在https://github.com/open-mmlab/openpcdet上获得。
translated by 谷歌翻译